相信有很多人在用pytorch做深度学习的时候，可能只是知道模型中用的是F.binary_cross_entropy或者F.cross_entropy，但是从来没有想过这两者的区别，即使知道这两者是分别在什么情况下使用的，也没有想过它们在pytorch中是如何具体实现的。在另一篇文章中介绍了F.cross_entropy()的具体实现，所以本文将介绍F.binary_cross_entropy的具体实现。 当你分别了解了它们在pytorch中的具体实现，也就自然知道它们的区别以及应用场景了。

1、pytorch对BCELoss的官方解释 在自己实现F.binary_cross_entropy之前，我们首先得看一下pytorch的官方实现，下面是pytorch官方对BCELoss类的描述： 在目标和输出之间创建一个衡量二进制交叉熵的标准。the unreduced loss（如：reduction属性被设置为none） 的数学表达式为： l n = − w n [ y n ⋅ log ⁡ x n + ( 1 − y n ) ⋅ log ⁡ ( 1 − x n ) ] \quad l_n = - w_n \left[ y_n \cdot \log x_n + (1 - y_n) \cdot \log (1 - x_n) \right] ln​=−wn​[yn​⋅logxn​+(1−yn​)⋅log(1−xn​)] 其中，N表示batch size，如果reduction is not none（reduction的默认是‘mean’）时的表达式为： ℓ ( x , y ) = { mean ⁡ ( L ) , if reduction = ’mean’; sum ⁡ ( L ) , if reduction = ’sum’. \ell(x, y) = \begin{cases} \operatorname{mean}(L), & \text{if reduction} = \text{'mean';}\\ \operatorname{sum}(L), & \text{if reduction} = \text{'sum'.} \end{cases} ℓ(x,y)={mean(L),sum(L),​if reduction=’mean’;if reduction=’sum’.​

补充：targets也就是表达式中的y应该是0-1之间的数，Xn不能为0或1，如果Xn是0或者1，也就意味着log(Xn)或者log(1-Xn)中的一项没有意义，pytorch中对log(0)作出的定义如下，也是数学上对log(0)的定义： log ⁡ ( 0 ) = − ∞ ， lim ⁡ x → 0 log ⁡ ( x ) = − ∞ \log (0) = -\infty，\lim_{x\to 0} \log (x) = -\infty log(0)=−∞，x→0lim​log(x)=−∞ 然而，由于一些原因，无穷项在在损失函数中无法表述。举个例子：如果Yn=0或者1-Yn=0，我们就会用0乘上无穷。而且如果我们有一个无穷的损失值，我们在计算梯度的时候也会是一个无穷，也是因为数学上的定义： lim ⁡ x → 0 d d x log ⁡ ( x ) = ∞ \lim_{x\to 0} \frac{d}{dx} \log (x) = \infty x→0lim​dxd​log(x)=∞ 而且会导致BECLoss的反向传播方法非线性。对于上述可能会出现的问题，pytorch官方给出的解决方案是限制log函数的输出大于等于-100，这样的话就可以得到一个有限的损失值，以及线性的反向传播方法。下面写个代码测试一下pytorch限制log函数输出的机制：

首先，我们取一个数让其log运算后的值小于-100，发现F.binary_cross_entropy中的计算结果为100，而torch.log()的计算结果为负无穷，原因在于pytorch官方实现的F.binary_cross_entropy对log输出做了限制。大家不要对100感到疑惑呀，为什么不是-100，那是因为损失函数计算的时候前面有个负号。

2、pytorch的官方实现 input的维度(N，*)，其中*表示可以是任何维度。target和input的维度需一致。OK，其实最关键的还是上面的数学表达式，知道了表达式也就可以简单实现二值交叉熵了。

输出：

3、根据公式自己实现

input和target的维度需相同，上述的例子中，它们的维度均是[1,3,3]，我们可以把1看作batchsize的大小，3*3看作是图片的大小。首先将shape变成[1,3*3]，然后按照公式计算每一个batchsize的损失，再求和，最后按照pytorch官方默认的方式求平均，即可大功告成。 4、weight参数含义 在写代码的过程中，我们会发现F.binary_cross_entropy中还有一个参数weight，它的默认值是None，估计很多人不知道weight参数怎么作用的，下面简单的分析一下： 首先，看一下pytorch官方对weight给出的解释，if provided it’s repeated to match input tensor shape，就是给出weight参数后，会将其shape和input的shape相匹配。回忆公式： l n = − w n [ y n ⋅ log ⁡ x n + ( 1 − y n ) ⋅ log ⁡ ( 1 − x n ) ] \quad l_n = - w_n \left[ y_n \cdot \log x_n + (1 - y_n) \cdot \log (1 - x_n) \right] ln​=−wn​[yn​⋅logxn​+(1−yn​)⋅log(1−xn​)] 默认情况，也就是weight=None时，上述公式中的Wn=1；当weight!=None时，也就意味着我们需要为每一个样本赋予权重Wi，这样weight的shape和input一致就很好理解了。 首先看pytorch中weight参数作用后的结果：

通过下面的代码再次验证weight是如何作用的，weight就是为每一个样本加权。

pytorch官方的代码和自己实现的计算出的损失一致，再次说明binary_cross_entropy的weight权重会分别对应的作用在每一个样本上。 5、总结 看源码是最直接有效的手段。 留个彩蛋，下篇文章讲balanced_cross_entropy，解决样本之间的不平衡问题。

注：如有错误还请指出！